Bản đồ Nam Kỳ giai đoạn 1862-1867, kết quả của chiến dịch Nam Kỳ.Nam Kỳ thuộc Pháp (Basse Cochinchine Francaise) khoảng năm 1881, nhưng vẽ theo hành chính của Nam Kỳ Lục tỉnh nhà Nguyễn (Basse CochinChine) trước năm 1861. Vùng bờ bắc kênh Vĩnh Tế (thuộc các huyện Hà Âm, Tây Xuyên tỉnh An Giang, huyện Hà Châu tỉnh Hà Tiên cũ) và vùng lồi Svay Rieng (trước là vùng rừng Quang Hóa phủ Tây Ninh tỉnh Gia Định, mà Pháp chưa chiếm được vào thời điểm năm 1861-1863) đều bị cắt chuyển sang lãnh thổ vương quốc Campuchia thuộc Pháp.

Từ lúc kiểm soát được tỉnh Gia Định (1862) cho đến khi chiếm được toàn bộ Nam Kỳ (1867), thực dân Pháp vẫn tạm thời duy trì cách phân chia địa giới hành chánh cũ của triều Nguyễn một thời gian. Thời gian này, người Pháp gọi département thay cho phủ, gọi arrondissement thay cho huyện[5] ở những vùng họ chiếm được. Tuy nhiên, do tình trạng thiếu hụt nhân sự, người Pháp không duy trì bộ máy hành chính ở cấp tỉnh và cấp phủ, mà cố duy trình bộ máy hành chính cũ ở cấp huyện, với sự hợp tác của các quan lại cũ đã đầu hàng, dưới sự giám sát của các sĩ quan Pháp.

Năm 1864, Đô đốc De la Grandière chia miền Đông Nam Kỳ làm 7 khu vực: Bà Rịa, Biên Hòa, Cần Giuộc, Mỹ Tho, Sài Gòn – Chợ Lớn, Tân An – Gò Công và Tây Ninh. Ngày 9 tháng 11 năm 1864, Đô đốc De la Grandière chuyển chế độ hành chánh Nam Kỳ từ quân sự sang dân sự bằng việc thiết lập tòa "Thượng thơ" (Direction de L’Intérieur) cai quản 3 tỉnh miền Đông Nam Kỳ và thiết lập các Sở Tham biện (Inspection, còn gọi là hạt thanh tra hoặc tiểu khu) do các quan chức người Pháp ngạch Thanh tra bản xứ vụ (inspecteur des affaires indigènes) người Pháp chịu trách nhiệm. Mỗi thanh tra phải kiêm quản việc giám sát của nhiều huyện trong địa bàn của hạt. Đến năm 1865, có các Tham biện: Sài Gòn, Chợ Lớn, Cần Guộc, Tây Ninh (gồm huyện Tân Ninh và Quang Hóa), Gò Công, Tân An, Mỹ Tho, Cai Lậy, Biên Hòa, Thủ Dầu Một, Long Thành, Bảo Chánh, Bà Rịa.

Tính đến năm 1867, toàn cõi Nam Kỳ bấy giờ có 27 hạt thanh tra như thế. Cùng năm này, chính quyền thực dân Pháp cho đổi các địa danh tỉnh và hạt thanh tra theo địa danh đặt lỵ sở tỉnh hoặc hạt thanh tra đó. Các tên gọi mới này chính là tục danh bằng tên Nôm của các thôn xã nơi đặt lỵ sở hạt thanh tra vốn trước đây vào thời nhà Nguyễn độc lập lại không được dùng chính thức trong các văn bản hành chính. Như vậy, cũng kể từ đây, chính quyền thực dân Pháp đã dần dần chính thức hóa các tên gọi địa danh bằng tiếng Nôm này bằng những văn bản hành chính. Mặc dù vẫn duy trì tên gọi của các tỉnh tương tự như thời Nguyễn, nhưng tên tỉnh không còn bất kỳ một ý nghĩa hành chính đặc biệt nào.[6]

Bản đồ biên giới Việt Nam-Campuchia năm 1870, khu vực K.Svai Téap vốn ngay trước đó thuộc hạt thanh tra Trảng Bàng ngày nay là vùng lồi "Mỏ Vịt" tỉnh Svay Rieng. Biên giới này được điều chỉnh bởi thỏa thuận giữa Thống đốc Nam Kỳ thuộc Pháp và vua Cao Miên Norodom I, ký kết ngày 9 tháng 7 năm 1870.

Tháng 4 năm 1870, chính quyền Pháp ở Nam Kỳ (đứng đầu là Thống đốc Nam Kỳ) cùng với triều đình vương quốc Cao Miên do Pháp bảo hộ (đứng đầu là vua Norodom I) bắt đầu đàm phán ký kết thỏa ước phân định biên giới[7]. Chính thức điều chỉnh lại biên giới giữa Cao Miên (Campuchia) với Nam Kỳ thuộc Pháp (Cochinchine Française) thay đổi lớn so với biên giới Cao Miên-Nam Kỳ Lục tỉnh tại 2 khu vực: địa phận các hạt thanh tra Trảng Bàng, Tây Ninh (tức vùng lồi Mỏ vịt) thành phủ (khet) Svay Teep (Thỏa ước ngày 9-7-1870)[8], và vùng bờ bắc kênh Vĩnh Tế địa bàn các hạt Hà Tiên, Châu Đốc (nguyên là đất các huyện Hà Châu và Hà Âm) nhập vào (khet) Tréang (Hiệp định ngày 15-7-1873), cắt từ đất Nam Kỳ trả về cho Cao Miên[9].

Theo Nghị định ngày 7 tháng 6 năm 1871, tổ chức hành chính của Nam Kỳ được thay đổi. Chế độ thanh tra bản xứ vụ và đơn vị hành chính cấp huyện bị bãi bỏ. Các hạt thanh tra được đổi thành hạt tham biện (nhưng lấy tên arrondissement) và thu gọn còn còn 18 hạt. Đứng đầu hạt tham biện là Chánh tham biện (administrateur) [10], với sự giúp việc của 2 hai Phó tham biện và thư ký địa hạt (secrétaire d’arrondissement), còn gọi là Bang biện. Nơi đặt dinh hành chánh của hạt gọi là Tòa tham biện, dân gian quen gọi là Tòa bố. Mọi hoạt động hành chính của các địa hạt đều đặt trực tiếp dưới quyền Thống đốc Nam Kỳ, với trị sở đóng ở Sài Gòn.

Năm 1876, người Pháp chia Nam Kỳ thành 4 khu vực hành chính lớn, gọi là các phân khu hành chính (circonscription administrative), mỗi khu vực lại được chia nhỏ thành các "hạt" hay "tiểu khu" (arrondissement) như sau:

• Khu vực Sài Gòn có 5 tiểu khu: Tây Ninh, Thủ Dầu Một, Biên Hòa, Bà Rịa và Sài Gòn
• Khu vực Mỹ Tho có 4 tiểu khu: Mỹ Tho, Gò Công, Tân An và Chợ Lớn
• Khu vực Vĩnh Long có 4 tiểu khu: Vĩnh Long, Bến Tre, Trà Vinh và Sa Đéc
• Khu vực Bát Xắc có 6 tiểu khu: Châu Đốc, Hà Tiên, Long Xuyên, Rạch Giá, Cần Thơ và Sóc Trăng.

Số địa hạt tăng lên 19 hạt. Mỗi hạt tổ chức thêm Hội đồng Quản hạt (Conseil d'arrondissement) với các thành viên được bầu vào là người Việt, là cơ quan tư vấn cho Tòa tham biện.

Bản đồ Nam Kỳ thuộc Pháp năm 1884, khu vực nằm giữa đường biên giới với Campuchia (Frontière Franco-Cambodgienne) và với đường biên giới với An Nam (Frontière Franco-Annamite). Vùng lồi Svay Rieng (trong bản đồ ghi chú là K.Svai Teep vẫn nằm trong ranh giới Nam Kỳ thuộc Pháp (ở phía đông đường Frontière Franco-Cambodgienne) mà chưa được cắt cho Campuchia.

Số địa hạt vẫn liên tục biến đổi. Năm 1880, hạt Hai Mươi (20e arrondissement) được thành lập nhưng sang năm sau bị bãi bỏ. Năm 1882, hạt Bạc Liêu được thành lập. Số địa hạt tăng lên thành 20.

Nghị định ngày 16 tháng 1 năm 1899, đổi tên hạt thành tỉnh (province), và từ ngày 1 tháng 1 năm 1900, toàn cõi Nam Kỳ chia thành 20 tỉnh như sau:

• Tỉnh Gia Định (cũ) chia thành năm tỉnh: Gia Định, Chợ Lớn, Tân An, Tây Ninh, Gò Công.
• Tỉnh Biên Hòa (cũ) chia thành ba tỉnh: Biên Hòa, Bà Rịa, Thủ Dầu Một.
• Tỉnh Định Tường (cũ) đổi thành Mỹ Tho.
• Tỉnh Vĩnh Long (cũ) chia thành ba tỉnh: Vĩnh Long, Bến Tre, Trà Vinh.
• Tỉnh An Giang (cũ) chia thành năm tỉnh: Châu Đốc, Long Xuyên, Sa Đéc, Sóc Trăng, Cần Thơ.
• Tỉnh Hà Tiên (cũ) chia thành ba tỉnh: Hà Tiên, Rạch Giá, Bạc Liêu.

Ngoài ra còn có 3 thành phố độc lập là Sài Gòn, Chợ Lớn và Cap Saint Jacques không thuộc hạt nào.

Danh xưng người đứng đầu cũng thay đổi, từ Chánh tham biện đổi thành Chủ tỉnh (chef de la province)[10], Tòa tham biện gọi là Tòa bố.

Đến đầu thập niên 1900, thực dân Pháp phân chia hành chính tỉnh thành các quận (circonscription) hoặc đại lý hành chánh (délégation) dưới quyền chủ quận hay phái viên hành chánh; quận chia ra tổng (canton), đứng đầu là cai tổng (chef de canton). Tổng chia thành xã.[11] Hệ thống hành chính cũ của nhà Nguyễn bị xoá bỏ hoàn toàn trên cõi Nam Kỳ.